<!DOCTYPE HTML>
<html>

<head>
	<link rel="bookmark"  type="image/x-icon"  href="/img/logo.jpg"/>
	<link rel="shortcut icon" href="/img/logo.jpg">
	
			    <title>
    北望你的安
    </title>
    <meta charset="utf-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no" />
    <link rel="stylesheet" href="/css/mic_main.css" />
    <link rel="stylesheet" href="/css/dropdownMenu.css" />
    <meta name="keywords" content="北望你的安" />
    
    	<script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
	 
    <noscript>
        <link rel="stylesheet" href="/css/noscript.css" />
    </noscript>
    <style type="text/css">
        body:before {
          content: ' ';
          position: fixed;
          top: 0;
          background: url('/img/bg.jpg') center 0 no-repeat;
          right: 0;
          bottom: 0;
          left: 0;
          background-size: cover; 
        }
    </style>

			    
  


    <script src="/js/jquery.min.js"></script>
    <script src="/js/jquery.scrollex.min.js"></script>
    <script src="/js/jquery.scrolly.min.js"></script>
    <script src="/js/skel.min.js"></script>
    <script src="/js/util.js"></script>
    <script src="/js/main.js"></script>
	
</head>
    
		
<!-- Layouts -->



<!--  代码渲染  -->
<link rel="stylesheet" href="/css/prism_coy.css" />
<link rel="stylesheet" href="/css/typo.css" />
<!-- 文章页 -->
<body class="is-loading">
    <!-- Wrapper 外包 s-->
    <div id="wrapper" class="fade-in">
        <!-- Intro 头部显示 s -->
        <!-- Intro 头部显示 e -->
        <!-- Header 头部logo start -->
        <header id="header">
    <a href="/" class="logo">Krystalan</a>
</header>
        <!-- Nav 导航条 start -->
        <nav id="nav" class="special" >
            <ul class="menu links" >
			<!-- Homepage  主页  --> 
			<li >
	            <a href="/" rel="nofollow">主页</a>
	        </li>
			<!-- categories_name  分类   --> 
	        
	        <li class="active">
	            <a href="#s1">分类</a>
	                    <ul class="submenu">
	                        <li>
	                        <a class="category-link" href="/categories/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0/">强化学习</a></li><li><a class="category-link" href="/categories/%E6%95%B0%E5%AD%A6/">数学</a></li><li><a class="category-link" href="/categories/%E7%AE%97%E6%B3%95/">算法</a></li><li><a class="category-link" href="/categories/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/">自然语言处理</a></li><li><a class="category-link" href="/categories/%E9%9A%8F%E7%AC%94/">随笔</a>
	                    </ul>
	        </li>
	        
	        <!-- archives  归档   --> 
	        
	        
		        <!-- Pages 自定义   -->
		        
		        <li>
		            <a href="/tags/" title="标签">
		                标签
		            </a>
		        </li>
		        
		        <li>
		            <a href="/gallery/" title="相册">
		                相册
		            </a>
		        </li>
		        


            </ul>
            <!-- icons 图标   -->
			<ul class="icons">
                    
                    <li>
                        <a title="github" href="https://github.com/krystalan" target="_blank" rel="noopener">
                            <i class="icon fa fa-github"></i>
                        </a>
                    </li>
                    
                    <li>
                        <a title="500px" href="https://www.zhihu.com/people/krystalzhu-an" target="_blank" rel="noopener">
                            <i class="icon fa fa-500px"></i>
                        </a>
                    </li>
                    
			</ul>
</nav>

        <div id="main" >
            <div class ="post_page_title_img" style="height: 25rem;background-image: url(/img/7.jpg);background-position: center; background-repeat:no-repeat; background-size:cover;-moz-background-size:cover;overflow:hidden;" >
                <a href="#" style="padding: 4rem 4rem 2rem 4rem ;"><h2 >2019 ACL 文摘论文分享</h2></a>
            </div>
            <!-- Post -->
            <div class="typo" style="padding: 3rem;">
                <p>今天主要来做一个论文笔记，我下周有一个论文分享会。<br>之后会考虑把我此前所有的TALK发出来，基本上都是论文分享，由于本人才疏学浅，难免有一些分析错误或者不到位的地方，还请大家多多指正。<br><img src="/images/Papers/TextSum/1.jpg" alt="论文题目"><br>这是一篇最新的生成式摘要论文<br>论文地址：<a href="https://arxiv.org/pdf/1906.00077.pdf" target="_blank" rel="noopener">https://arxiv.org/pdf/1906.00077.pdf</a><br>代码地址：<a href="https://github.com/ucfnlp/summarization-sing-pair-mix" target="_blank" rel="noopener">https://github.com/ucfnlp/summarization-sing-pair-mix</a>    </p>
<h2 id="1-动机"><a href="#1-动机" class="headerlink" title="1.动机"></a>1.动机</h2><p>作者发现人们在自己写文本摘要的时候，往往会根据自己的直觉选择参考一到两句话并把它们所包含的信息总结成最终的摘要。但其实人们并不能够很好的解释如何去选取这一两句参考的句子。<strong>而本文的工作便是设计了一个模型去选择这么一到两句话，然后再融成一句话。</strong></p>
<p><img src="/images/Papers/TextSum/2.jpg" alt="摘要调研"><br>这是作者调研的结果，分别在三个数据集（XSum、DUC-04、CNN/DM）上统计了压缩一个句子得到摘要、融合两句话产生摘要以及融合三句及以上产生摘要的比例。</p>
<p>我们可以更加直观的来感受一下，压缩一个句子产生摘要以及融合两个句子产生摘要的过程，如下图：<br><img src="/images/Papers/TextSum/3.jpg" alt="摘要产生">   </p>
<h2 id="2-模型"><a href="#2-模型" class="headerlink" title="2.模型"></a>2.模型</h2><p>然后我们来看一下模型的整体框架<br><img src="/images/Papers/TextSum/4.jpg" alt="model">   </p>
<p>这个模型分成了两部分。  </p>
<h3 id="2-1-句子选择"><a href="#2-1-句子选择" class="headerlink" title="2.1 句子选择"></a>2.1 句子选择</h3><p>首先在第一部分中，我们先选择出这么一到两句话（用于之后压缩成摘要）。<br>假设一个文档中有N个句子，那么我们的选择可以有N+N(N-1)/2种，其中N代表选择一个句子的所有可能情况的数量，N(N-1)/2代表选择两个句子的所有可能情况的数量。那么如何在这么多选项当中进行选取呢？作者根据每个选项所传达的有价值的摘要内容的数量对其进行评分。这其实不是一个容易的任务，因为在常规任务当中，我们基本上都是对包含句子数量一致的数据进行打分，而在这种情况下，有的例子含有一个句子，而有的包括了两个句子。如果一个句子(Singleton)包含显著的内容，那么它的得分应该比一些包含信息少的句子对(Pair)的分值要高。所以说到底，<strong>难点就在于如何把Singleton和Pair这两种情况在一个统一的低维空间内进行表示，之后再打分。</strong><br>我们来看一下作者是怎么解决这个问题的，作者使用了BERT预训练语言模型，将其在一个文本分类的任务上进行了微调，这个文本分类任务就是去分类一个句子是否被人工标注摘要所参考。BERT在训练的时候有两个子任务，预测被掩盖的单词和判断句子对有无连续关系。作者认为第二个任务，肥肠适合我们的任务啊！因为在摘要中，我们所参考的句子的连续性也很重要啊，我们大概率会选择两句连续的话并将他们融成摘要！我们可以设想一下，如果让你去写摘要，你肯定不会前头拉一句，后头拉一句，再拼接成摘要吧。<br>我们来具体看看作者是怎么用BERT来完成这个神奇操作的<br><img src="/images/Papers/TextSum/5.jpg" alt="Token"><br>首先我们知道BERT是通过在Singleton或者Pair前加“[CLS]”token并用“[SEP]”token分隔Pair来构造输入序列的。“[CLS]”token的最终隐藏状态(即Transformer的输出)被用作分类任务的聚合序列表示。（非分类任务可以忽略此token）作者对于每个输入序列，用上图中的（1）式来表示，简而言之就是第一个句子前加一个“[CLS]”，两句话之间加一个“[SEP]”，最后再来一个“[SEP]”。（2）式详细给出了每个w的组成，其中ew是token embedding、esgmt是 segment embedding 用来鉴别w来自A句还是B句、ewpos是position embedding 用来表示w在整个输入序列中的位置、最后espos是 sentence position embedding 用来表示w所在的句子在整个文档当中的位置。值得注意的是，对于singleton而言，第二句直接用padding tokens填充。从直观的角度而言，这些embedding意味着，一个单词对序列（A+B）最终表示的贡献程度基本上取决于以下四点：①显著性②A句和B句的重要性③单词在序列中的位置④句子在整个文档中的位置。<br>之后把输入序列喂到多层的多头注意力结构里去，为每个token去学习一个表示，每层都是一个Transformer Block。经过漫长的学习之后，终于出山了，“[CLS]”token在最后一层输出的表示将是这个输入序列的整体表示，也就是说此时的“[CLS]”代表着Singleton或Pair的表示！也就是说，我们成功的将Singleton和Pair搞到一个低维空间了！但别忘了作者是在一个文本分类的任务上微调了BERT，于是有了接下来的故事：<br><img src="/images/Papers/TextSum/6.jpg" alt="微调"><br>作者接着把“[CLS]”token的embedding与w矩阵相乘，之后通过sigmoid函数来预测这个序列是否在摘要形成的过程中受到了参考。实际上这就是在BERT上加了一层逻辑回归预测二分类。但sigmoid输出的结果只代表了singleton和pair的重要程度。于是作者又通过以下的方法选取最终用于压缩的句子：<br><img src="/images/Papers/TextSum/7.jpg" alt="排序"><br>我们现在将Singleton或Pair称为一个实例，这个式子代表没选取一个实例的时候，分别从重要程度与冗余度两个方面对其进行考察，其中I（Pk）代表重要程度，其值就是sigmoid的输出，R（Pk）代表冗余程度，其值是通过实例和真实摘要局部的余弦相似度来计算得到。所以在每选择利用一个实例，就得从这两面来考察它是不是足够“优秀”，直到我们选择的实例总长度超过了设定的阈值，则不再往里添加实例。这样我们便得到了用于压缩生成最终摘要的实例的集合。  </p>
<h3 id="2-2-句子压缩"><a href="#2-2-句子压缩" class="headerlink" title="2.2 句子压缩"></a>2.2 句子压缩</h3><p>有了最终的实例集合之后，我们只需要进行一个句子压缩就行了。<br>作者在这一部分使用的是Pointer-generator Networks（<a href="https://arxiv.org/abs/1704.04368）" target="_blank" rel="noopener">https://arxiv.org/abs/1704.04368）</a><br>并且作者自己构建了一个数据集专门用于训练句子压缩，训练完直接用就行了。</p>
<h2 id="3-实验结果"><a href="#3-实验结果" class="headerlink" title="3.实验结果"></a>3.实验结果</h2><p>首先是第一部分,选择句子的实验结果:<br><img src="/images/Papers/TextSum/8.jpg" alt="选句实验结果"><br>其次是整体模型的结果:<br><img src="/images/Papers/TextSum/9.jpg" alt="选句实验结果">   </p>

            </div>

            <!-- Post Comments -->
            

        </div>
        <!-- Copyright 版权 start -->
                <div id="copyright">
            <ul>
                <li>&copy;2020 北望你的安. 版权所有</li>
            </ul>
            
                <span id="busuanzi_container_site_pv">本站总访问量<span id="busuanzi_value_site_pv"></span>次，</span>
				<span id="busuanzi_container_site_uv"> 访客数 <span id="busuanzi_value_site_uv"></span> 人. </span>
			
			<br>
			<span>友情链接：<a href='http://www.demilab.cn' target='_blank'>DEMI实验室</a>&nbsp;&nbsp;&nbsp;<a href='http://zd11024.cn/' target='_blank'>ZD</a></span>
        </div>
    </div>
</body>



 	
</html>
